简介
图神经网络的基本思想是迭代地汇聚邻居信息。经过 k 次迭代后，一个 k 层网络的图神经网络可以捕捉节点 k 跳的局部结构。所以，一个更深的图神经网络可以接触到更多的邻居信息，也就可以得到更好的表现。然而，但图神经网络变得更深时，邻居的指数增长导致在批量训练和推理时的计算代价急剧增加。这就令深度图神经网络远离应用。
在这份工作中，作者试图学习一个小的图神经网络，称作TinyGNN，该网络可以达到和更深的图神经网络一样的表现，并且能在更短时间内产生节点的表示。但是，因为更浅的图神经网络并不能如更深的图神经网络那样探索到更多的局部结构，在这两种图神经网络上存在邻居信息的缝隙。为了填补该缝隙，作者利用同侪节点信息来显式地建模局部结构，利用邻居蒸馏策略从一个更深的图神经网络隐式地学习局部结构。
方法
Peer-Aware Module
同侪节点是从一个节点的一阶邻居中采样得到的邻居，它们彼此互为同侪节点。
在(b)中，上一层从下一层汇聚邻居信息，节点13、14和15这些同侪节点之间没有交流。实际上，同侪节点之间有很近的连接。至少，所有同侪节点都可以在两跳内到达其同侪节点。另外，作者计数了同侪节点之间的有直接连边的比率，如下：
这意味着大部分的同侪节点是邻居，并且来自于下一层的邻居信息可以直接由同侪节点所刻画。基于这个观察，作者提出了Peer-Aware Module。
给定 K 个同侪节点的 d 维表示 $\left\{h_{i}\right\}_{i=1}^{K}$, PAM 更新集合中每一节点的表示，并考虑进去其他的同侪节点。
PAM使得每一节点通过同侪节点来显示地探索局部结构，而不需要汇聚来自于下一层的信息。这种性质帮助TinnyGNN避免了汇聚下一层邻居信息带来的巨大计算。
Neighbor Distillation Strategy
教师网络的损失函数如下：
学生网络的损失如下：